三种信息

• 总体信息：总体分布或总体分布簇给我们的信息
• 样本信息：从总体中抽取的样本给我们提供的信息
• 先验信息：抽样之前对统计问题的一些信息

经典统计基于上述前两种信息进行统计推断，贝叶斯统计基于上述三种信息进行统计推断。贝叶斯统计最基本的观点：任一个未知量$\theta$ 都可以看做一个随机变量，应该用一个概率分布去描述对$\theta$ 的未知状况，这个分布叫先验分布。

似然函数

$$p(\mathbf{x}|{\theta}')=\prod_{i=1}^{n}p(x_i|{\theta}')$$

由于$\theta ‘$是设想出来的随机变量，它是从先验分布$\pi (\theta’)$中抽取出来的，故可以利用$\pi (\theta’)$得到样本$\mathbf{x}$和参数$\pi (\theta)$的联合分布：

$$h(\mathbf{x},\theta)=p(\mathbf{x}|\theta)\pi (\theta)$$

现在的问题是根据样本$\mathbf{x}$对$\theta$的分布进行推断，为此需要将$h(\mathbf{x},\theta)$做如下分解：

$$h(\mathbf{x},\theta)=\pi(\theta|\mathbf{x})m(\mathbf{x})$$

其中$m(\mathbf{x})$是$\mathbf{x}$的边缘密度函数：

$m(\mathbf{x})=\int_{\Theta}h(\mathbf{x},\theta)d\theta $

$ =\int_{\Theta}h(\mathbf{x}|\theta)\pi(\theta)d\theta $

所以贝叶斯公式的密度函数形式为：

$$\pi(\theta|\mathbf{x})=\frac{h(\mathbf{x},\theta)}{m(\mathbf{x})}=\frac{p(\mathbf{x}|\theta)\pi(\theta)}{\int_\Theta p(\mathbf{x}|\theta)\pi(\theta)d\theta}$$

离散形式下可以把积分符号替换为连加符号，这里的得到的后验分布也是一个概率分布列：

$$\pi(\mathbf{\theta _i|\mathbf{x}})=\frac{p(\mathbf{x}|\theta_i)\pi(\theta_i)}{\sum p(\mathbf{x}|\theta_i) \pi(\theta_i)}$$

共轭先验分布

定义：设$\theta$是总体分布中的参数（也可以是参数向量），$\pi(\theta)$是$\theta$的先验密度函数，假如由抽样信息得到的后验密度函数与$\pi(\theta)$具有相同的函数形式，则称$\pi(\theta)$是$\theta$的共轭先验分布，它是对某一分布族的参数而言的。

• 正态均值（方差已知）的共轭先验分布是正态分布
• 二项分布的成功概率$\theta$的共轭先验分布是贝塔分布

先验分布中所含的未知参数成为超参数，在选择一个先验分布的时候，首先需要确定超参数，然后才可以计算后验分布的参数。方法总结为：

• 利用先验矩，比如利用均值和方差倒推先验分布的超参数
• 利用先验分位数
• 结合先验矩和先验分位数
• 主观推断

---

• ← Previous Post
• Next Post →